Risks of Quantitative Studies 定量研究的風險

過度迷戀數字會導致可用性研究偏離正確方向，集中於可能錯誤、偏頗或狹隘的統計分析。相比之下，定性研究通常成本更低且成果更可靠。定量研究固有的侷限性可能會誤導設計決策。

兩類使用者研究：定量與定性

定量研究（統計分析）
優勢在於將複雜問題簡化為易於理解的數字，適合評估專案長期進展。
示例：報告“使用網站對老年使用者的難度比普通使用者高122%”。

定性研究（洞察分析）
聚焦於透過使用者觀察獲取設計洞察，幫助改進使用者體驗。
通常更具靈活性和成本效益。

雖然數字在報告和決策中有助於清晰表達，但過度依賴定量研究可能導致以下問題。

警惕“數字迷信”

隨機結果的誤導
- 統計顯著性（如 p < 0.05）表示結果的隨機性小於 5%。
- 然而，即使如此，每 20 次分析中仍可能有 1 次結果完全隨機。
示例：
小樣本研究可能錯過關鍵發現，例如 2000 年佛羅裡達州選舉的“蝴蝶選票”設計問題，儘管其對選民行為的影響顯著。

“隨意關聯”的問題
- 當研究變數過多時，可能發現偶然關聯。
- 一個研究包含 7 個變數，將產生 21 個潛在關聯；如果分析 53 個變數，將有 1378 種可能的關聯，其中 69 個可能顯示為“顯著”，即便沒有任何真實聯絡。
關鍵問題：
研究者需在研究前明確假設，而非事後“狩獵”統計顯著性。

忽視協變數的影響
- 一個表面相關的結果可能由未被考慮的第三方變數驅動。
- 示例：智力與出生順序的關係（實際上由父母的經濟和教育水平決定）。
- 在網頁設計中，長連結文字可能與使用者成功率相關，但真正的關鍵是設計師是否遵循了使用者中心化設計原則。

分析過於簡化
- 過度控制實驗條件可能導致結果無法適用於真實場景。
- 學術研究中常測試簡化設計和大學生樣本，而非複雜的真實系統和目標使用者。
示例：
使用受控任務研究“導航路徑”，可能忽略麵包屑導航在上下文感知中的作用。

測量扭曲
- 不恰當的任務設計或使用者引導可能偏倚研究結果。
- 示例：測試廣告時，要求使用者評價網頁設計會促使使用者更多關注廣告元素，導致虛假結論。

發表偏差
- 出版物更傾向報道“新穎”發現，而非穩定重複的研究成果。
- 示例：下載速度的研究中，1/20 的統計分析可能錯誤顯示速度無關緊要，而此結果可能被廣泛討論。

定量研究的內在風險

定量研究的準確性：
需要嚴格的實驗設計與執行，否則數字可能具有欺騙性。

方法學脆弱性：
如果研究細節存在瑕疵，可能得出誤導性結論。

專業需求：
只有資深研究者才能在定量研究中得出可靠結果，而初學者更易出錯。

定性研究的優勢

適應性強：即便研究方法存在一定不足，定性研究仍能提供可靠的使用者洞察。

成本低：小規模使用者測試（如 5 人）即可發現大部分關鍵問題。

洞察優先：定性研究注重透過觀察使用者行為和理解其需求，生成改進設計的有效建議。

判斷異常結果的方法

是否依賴“隨意關聯”？

是否受到研究設計或偏差影響？

是否僅因“新奇”而被過度宣傳？

可靠研究的特徵：

可重複驗證。

多項研究間結論一致。

示例：Jakob Nielsen 提出的“折扣式可用性工程”理論（5 人使用者測試）最初受質疑，但隨著多個研究重複驗證，現已成為廣泛認可的實踐。

結論

定量研究的應用：儘管定量研究有助於跟蹤設計進展，但它需要高水平的專業知識和嚴格執行，且成本較高。

定性研究的價值：透過觀察使用者行為獲取洞察，定性研究往往能夠在較低成本下發現問題，並指導設計改進。

研究策略的選擇：在資源有限時，優先使用定性研究；定量研究則適合更復雜的問題或需要精準資料的場景。